小批量更新

小批量梯度下降的工作原理

  1. 小批量梯度的计算

    • 将数据集分成多个小批量(mini-batches),每个小批量包含若干样本。
    • 对于每个小批量,计算其所有样本的梯度,然后求这些梯度的平均值
  2. 参数更新

    • 使用该小批量的平均梯度来更新参数